#Diffusion Drafter - AI Papers Daily

Contextual Correction of Parallel Draftsfor Speculative Decoding

并行草稿上下文校正用于投机解码

🧭 LLM 推理加速 · 投机解码

DCOCO通过并行上下文评分恢复并行草稿块内依赖，在多种解码设置下取得最高吞吐，最高6.6倍加速

📌 工作参考价值（4 点）

若在线上用 LLM 做搜索 query 生成、商品文案、Agent 对话等文本生成服务，可引入投机解码降低首 token 延迟，DCOCO 的并行上下文校正比顺序校正更适合高并发请求，实测 4–32 并发下提升 6–23%。
DCOCO 在保留 drafter 并行性的前提下，通过轻量 scorer 恢复块内 token 依赖；类似思路可用于生成式推荐的 beam search / 候选生成，在保持并行推理的同时加入相邻候选的相容性打分，避免完全独立采样导致的低质量序列。
部署时要关注 drafter 与 verifier 的 KV cache 管理，DCOCO 的候选打分机制只增加很小开销，适合与 continuous batching / vLLM 等 serving 框架结合。
顺序校正（如逐个用上下文修正）在高并发下可能因为 kernel launch 开销反而退化，选择并行打分方案更稳。

LLM | 2026-10-07 | HF Daily | score 7/10

DARTree：基于自回归草稿树的推测性扩散解码

🧭 LLM 推理加速 · 推测解码

VILA Lab, MBZUAI

将扩散块草稿与树形自回归校正结合，训练无关地提升推测解码接受长度与加速比

📌 工作参考价值（4 点）

对线上部署 LLM 做生成式推荐（商品文案、推荐解释、对话式导购、搜索 query 改写）的团队，可直接把 DARTree 作为即插即用的推理加速层：训练无关，只需预训练 AR 校正头，无需额外训练成本，且保持无损输出分布。
借鉴其“固定宽度候选树 + 批量扩展评分”的工程 trick：把树节点扩展和 AR 校正头推理合并为单个 batch，避免逐节点堆排序的串行开销，适合在 GPU 上高并发执行，有利于降低在线服务延迟。
扩散草稿器做块级并行预测时，其边际分布需通过树形 AR 校正来恢复因果条件，这对其他使用扩散/非自回归草稿的加速方案有参考意义：不要只用单一链式校正，树形候选能显著提高接受长度。
注意该方法主要针对通用 LLM 解码，对传统推荐模型的排序、召回无直接帮助；但其加速比（最高 9.73x）在 LLM 参与的推荐链路里能有效缓解推理瓶颈。

LLM | 2026-08-13 | cs.LG | score 7/10